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Алгоритмична 1 програмна реал1защя ОЗМ-пам’ят! 


Предложена и апробирована программная система О5М-памяти на основе разделяемых объектов. Она 
обеспечивает передачу данных в одном адресном пространстве. При реализации системы использована 
технология ХЗТМ для репликации объектов между процессами. 
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Запропонована 1 апробована програмна система ОЗМ- пам’ят! на основ! роздлюваних об’ескт!в. Вона 
забезпечуе передачу даних в одному адресному простор1. При реатзаци системи використана технолопя 
ХЗТМ для реплкаци об’ектв ммж процесами. 

Ключов! слова: розподлена пам’ять, репллкащя, тестування, когерентнсть. 


Введение 


Для решения сложных научных и инженерных задач требуются высокопро- 
изводительные масштабируемые вычислительные системы параллельного действия, 
которые сегодня создаются на основе кластерных технологий. Однако эффектив- 
ность использования таких архитектур существенно зависит от наличия моделей и 
средств проектирования распределенных приложений [1], [2]. Одним из требований 
к таким моделям и средствам сегодня является степень масштабируемости. 

Кластерные системы, построенные на базе высокоскоростных сетевых технологий 
(Рая! Ешйетпе,, Слвари Ейетпе!) имеют большую латентность и меныпую производи- 
тельность, чем системы, построенные на специализированных интерфейсах (5С1, Му- 
гтер тИтфапа) [3]. 

Так, например, в кластерах «СКИФ» используются на первом уровне сети Раз 
Ететпе! или Офзари Ешетпе! для функции управления, на втором, построенном на 
базе интерфейсов 5СГ, тртшфапа или Муппе!, обеспечивается высокоскоростной 
транспорт данных между узлами кластера. Обычно подобные интерфейсы позволяют 
создавать связи между узлами с гиперкубической топологией. 
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Однако для ряда классов задач с последовательно-параллельными вычисле- 
ниями с небольшой долей операций обмена данными между параллельными ветвями 
кластерные системы на базе высокоскоростных сетевых технологий выигрывают по 
соотношению стоимость / производительность. 

Классические методы разработки распределенных приложений базируются на 
модели передачи сообщений, поддерживаемой коммуникационной библиотекой МРТ 
(Ме5зазе Разятв ГиегГасе) [4]. Доступ к разделяемым данным в этой модели обеспе- 
чивается посредством явных операций посылки и приема сообщений, что сильно 
усложняет программирование, отладку программ и применение для масштабируемых 
приложений, которые не должны зависеть от количества процессоров. 

Более привлекательной моделью для построения распределенных масштабиру- 
емых приложений для кластерных систем является модель общей распределенной 
памяти ОМ (Разтфиеа Эйаге4 Метоту) [2]. 

ОЗМ - виртуальное адресное пространство, разделяемое всеми узлами (процес- 
сорами) распределенной системы. Использование О5М-модели при разработке распре- 
деленных приложений позволяет уделять основное внимание алгоритмическим воп- 
росам, а не разделению данных и коммуникации. Создав абстракцию общей памяти, 
передача данных будет осуществляться в одном адресном пространстве. 

В связи с этим актуальной становится задача разработки программной системы 
обеспечения консистентности объектов и универсального доступа к ним. 

Цель данной работы — использование О5М-модели при создании абстракции 
общей памяти для реализации передачи данных в одном адресном пространстве. 


| Исследование алгоритмов когерентности памяти 
в распределенных системах 


О5М-память может быть реализована на различных уровнях: аппаратном и прог- 
раммном. Примером аппаратной реализации являются системы, построенные по 
технологии МОМА (№ ои Оп ога Метогу Ассезз) [5]. Наряду с доступом к собст- 
венной локальной памяти все узлы с помощью специальной логики имеют доступ к 
пространству оперативной памяти других узлов. 

В данной работе предложена программная реализация О5М-памяти с использо- 
ванием технологии репликации объектов. 


1.1 Основные алгоритмы реализации ОЭМ 


Главная цель реализации ОЗМ-модели — повышение производительности системы 
за счет обеспечения доступа к разделяемым данным одновременно на нескольких узлах. 

Алгоритм с центральным сервером. Все разделяемые данные поддерживает цент- 
ральный сервер. Он возвращает данные клиентам по их запросам на чтение, запись, 
корректирует данные и посылает клиентам в ответ квитанции. Клиенты могут исполь- 
зовать тайм-аут для посылки повторных запросов при отсутствии ответа сервера. 
Дубликаты запросов на запись могут распознаваться путем нумерации запросов. Если 
несколько повторных обращений к серверу остались без ответа, приложение получит 
отрицательный код ответа. Чтобы избежать этого, разделяемые данные могут быть 
распределены между несколькими серверами. Алгоритм прост в реализации, но сервер 
может стать узким местом. 

Миграционный алгоритм. Он обеспечивает перемещение данных в точку их вос- 
требования в текущий момент времени. Это позволяет последовательные обращения 
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к данным осуществлять локально. Миграционный алгоритм позволяет обращаться к 
одному элементу данных в любой момент времени только одному узлу. 

Обычно мигрирует целиком страницы или блоки данных, а не запрашиваемые 
единицы данных для снижения стоимости миграции. Однако такой подход приводит 
к трэшингу, когда страницы очень часто мигрируют между узлами при малом коли- 
честве обслуживаемых запросов. 

Алгоритм размножения для чтения. Данный алгоритм расширяет миграционный 
алгоритм механизмом размножения блоков данных, позволяя либо многим узлам иметь 
возможность одновременного доступа по чтению, либо одному узлу иметь возможность 
читать и писать данные. Производительность повышается за счет возможности одно- 
временного доступа по чтению, но запись требует серьезных затрат для уничтожения 
всех устаревших копий блока данных или их коррекции. 

Алгоритм полного размножения. Алгоритм позволяет многим узлам иметь одно- 
временный доступ к разделяемым данным на чтение и запись (протокол многих чита- 
телей и многих писателей). Поскольку многие узлы могут писать данные параллельно, 
требуется для поддержания согласованности данных контролировать доступ к ним. 

Одним из способов обеспечения консистентности данных является использо- 
вание специального процесса для упорядочивания модификаций памяти. Все узлы, 
желающие модифицировать разделяемые данные, должны посылать свои модификации 
этому процессу. Он будет присваивать каждой модификации очередной номер и рас- 
сылать его широковещательно вместе с модификацией всем узлам, имеющим копию 
модифицируемого блока данных. 

Для повышения эффективности рассмотренных алгоритмов необходимо изменить 
семантику обращений к памяти. 


1.2 Модели консистентности О5М-памяти 


Особую значимость для систем распределенной памяти имеют модели консис- 
тентности, которые представляют собой некоторое соглашение между программами 
и памятью, в котором указывается, что при соблюдении программами определенных 
правил работа модулей памяти будет корректной [2]. Ниже приведены модели кон- 
систентности, используемые в системах с распределенной памятью. Различия между 
ними определяются ограничениями моделей, простотой реализации и способами прог- 
раммирования: 

Строгая консистентность — модель консистентности, удовлетворяющая условию: 
операция чтения ячейки памяти с адресом х должна возвращать значение, записанное 
самой последней операцией записи с адресом х. 

Строгая консистентность представляет собой идеальную модель для программи- 
рования, но ее, к сожалению, невозможно реализовать для распределенных систем. 
Однако практический опыт показывает, что в некоторых случаях можно обходиться 
и более «слабыми» моделями. 

Последовательная консистентность -— результат выполнения должен быть тот 
же, как если бы операторы всех процессоров выполнялись в некоторой последова- 
тельности, определяемой программой этого процессора. 

Это определение означает, что при параллельном выполнении все процессы 
должны «видеть» одну и ту же последовательность записей в память. 

Последовательная консистентность только точно гарантирует, что все процессы 
знают последовательность всех записей в память. Результат повторного выполнения 
параллельной программы в системе с последовательной консистентностью (как, впро- 
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чем, и при строгой консистентности) может не совпадать с результатом предыдущего 
выполнения этой же программы, если в программе нет регулирования операций дос- 
тупа к памяти с помощью механизмов синхронизации. 

Причинная консистентность представляет собой более слабую модель по срав- 
нению с последовательной моделью, поскольку в ней не всегда требуется, чтобы все 
процессы видели одну и ту же последовательность записей в память, а проводится 
различие между потенциально зависимыми и независимыми операциями записи. 
При этом последовательность операций записи, которые потенциально причинно зави- 
симы, должна наблюдаться всеми процессами системы одинаково, параллельные опе- 
рации записи могут наблюдаться разными узлами в разном порядке. 

Система ОЗМ может осуществить такую зависимость посредством нумерации 
всех записей на каждом процессоре, распространения этих номеров по всем про- 
цессорам вместе с модифицируемыми данными и задержки любой модификации на 
любом процессоре до тех пор, пока он не получит все те модификации, о которых 
известно процессору — автору задерживаемой модификации. 

Слабая консистентность основана на выделении среди переменных специальных 
синхронизационных переменных и описывается следующим: доступ к синхрониза- 
ционным переменным определяется моделью последовательной консистентности и 
запрещен (задерживается), пока не выполнены все предыдущие операции записи или 
пока не выполнены все предыдущие обращения к синхронизационным переменным. 

Консистентность по выходу — введены специальные функции обращения к 
синхронизационным переменным: асдите — захват синхронизационной переменной, 
информирует систему о входе в критическую секцию; ге[еазе — освобождение син- 
хронизационной переменной, определяет завершение критической секции. Захват и 
освобождение используется для организации доступа не ко всем общим переменным, 
а только к тем, которые защищаются данной синхронизационной переменной. 

Консистентность по входу — пример модели консистентности, которая ориен- 
тирована на использование критических секций. Как и в предыдущей модели, эта 
модель консистентности требует от программистов (или компиляторов) использование 
механизма захвата / освобождения для выполнения критических секций. Однако здесь 
требуется, чтобы каждая общая переменная была связана с некоторой синхрониза- 
ционной переменной (типа семафора или события), при этом если доступ к элементам 
массива, или различным отдельным переменным, может производиться независимо 
(параллельно), то эти элементы массива (общие переменные) должны быть связаны с 
разными синхронизационными переменными. 


2 Модель абстракции распределенного объекта 


Распределенная система должна предоставлять приложениям удобный интерфейс 
ко всем ресурсам. С этой целью предлагается реализация О$М-памяти как образ 
единой системы [6]. Это означает, что для прикладного программного обеспечения 
распределенная вычислительная система выглядит как централизованная. Данное свой- 
ство позволяет разработчику абстрагироваться от физического расположения ресурсов, 
с которыми взаимодействует приложение и сосредоточиться на функциональности, 
которую они предоставляют. Это можно представить, как показано на рис. 1. 

Реализация образа единой системы основана на абстракции распределенного 
объекта. Каждый объект предоставляет набор четко определенных интерфейсов, кото- 
рые могут вызываться другими объектами. Объекты глобально, единообразно доступны 
посредством своих интерфейсов из всех узлов кластерной системы. 


«Штучний 1нтелект» 32012 55 


25 | Буза М.К. 


ЭБесеА 


Рисунок 1 — Модель распределенного объекта 


Ниже предлагается использовать репликацию для обеспечения эффективности 
и надежности доступа к распределенным объектам. 

Распределенные системы состоят из набора взаимодействующих компонентов, 
расположенных в различных узлах сети. Поскольку операции, выполняемые в каждом 
узле, часто зависят от команд и данных, получаемых от удаленных компонентов, за- 
держки, возникающие при распределенном взаимодействии, в конечном итоге снижают 
эффективность функционирования всей системы. 

Для преодоления данного эффекта, в распределенных приложениях можно исполь- 
зовать такие приемы, как замена удаленного взаимодействия локальными операциями и 
вынесение удаленного взаимодействия за рамки критических путей выполнения прог- 
раммы. Замена удаленного взаимодействия локальным предполагает, что состояние 
объекта-сервера кэшируется в узлах, где находятся клиенты. В этом случае операции 
чтения могут выполняться локально над кэшированной копией объекта. Операции 
записи также иногда могут выполняться локально с последующей доставкой пакета 
изменений серверу. Метод вынесения удаленного взаимодействия за рамки крити- 
ческих путей направлен на то, чтобы сократить время, затрачиваемое основными вы- 
числительными потоками на ожидание получения удаленного сообщения. Для этого 
используются вспомогательные потоки, спекулятивным образом получающие данные, 
требуемые для выполнения основных вычислений. 

Обобщением указанных подходов является репликация объектов. Состояние рас- 
пределенного объекта может быть полностью или частично доступно локально в каждом 
узле, где данный объект используется. Состояние объекта синхронизируется (репли- 
цируется) между узлами. Каждый вызов метода объекта вначале обрабатывается его 
репликой, находящейся в том узле, где производится данный вызов. Взаимодействие 
с удаленными репликами привлекается только в тех случаях, когда этого требует 
протокол репликации, например, когда необходимо получить недостающую часть сос- 
тояния объекта. 

Таким образом, распределенное взаимодействие перемещается вовнутрь распре- 
деленного объекта. Следовательно, эффективность доступа к объекту определяется 
эффективностью стратегии репликации. Очевидно, что не существует стратегии репли- 
кации, одинаково эффективной для всех типов объектов. Поэтому необходимо предо- 
ставить механизмы для построения реплицированных объектов. При этом для каждого 
класса объектов может использоваться алгоритм репликации, обеспечивающий макси- 
мально эффективный доступ с учетом семантики объекта. Такой алгоритм может быть 
выбран из набора существующих стратегий репликации либо разработан специально 
для данного класса объектов. 
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3 Репликация объектов 


Основные требования, которые предъявляются к системе репликации, состоят в 
том, что репликация должна быть прозрачной — обращение клиента к сервису не должно 
отличаться в случае использования сервисом данных реплики и реплицированные 
данные должны быть целостными. В общем виде задача репликации довольно сложна. 
Отметим некоторые частные случаи, встречающиеся в практических приложениях: 

Пассивная (риттагу — Баскир) репликация. Изменение данных допускается только 
на одном узле (мастер — копия), а на всех других узлах данные доступны только для 
чтения. Она применима, например, для резервного копирования данных в системах, 
где операций изменения данных сравнительно мало по отношению к операциям из- 
влечения больших объемов данных. 

Активная репликация. Это ситуация, когда несколько узлов могут претендовать 
на изменение объекта. 

В данной работе, которая ориентирована на разработку систем проектирования 
распределенных приложений для задач моделирования и вычислительного экспери- 
мента, акцент делается на транзакционные механизмы и активную репликацию с бло- 
кировками, которые имеют более универсальный характер. 

В работе предложена собственная методика репликации объектов. Методика ос- 
нована на активной репликации с блокировкой. Главным ее достоинством является 
поддержка частичной блокировки. Проведено исследование и экспериментальная реа- 
лизация этой методики для простых объектов. 

При реализации системы использована технология ХЭТМ (Ежепдеа ЗоЁ\аге 
Тгапзасйопа1 Метогу) для репликации объектов между процессами. В настоящее время 
при разработке распределенных приложений предъявляются требования их платфор- 
менной независимости. В связи с этим при проектировании приложений используется 
платформенно-независимый язык Тауа. Он является отличным выбором как для про- 
ведения исследований в области высокопроизводительных вычислений, так и для 
использования его при разработке промышленно эксплуатируемых приложений для 
кластерных суперкомпьютерных систем и грид-сетей. В данной предметной области 
Тауа практически не уступает в производительности языкам С, С++, но при этом зна- 
чительно опережает их в удобстве и скорости разработок. 

В связи с этим программная поддержка созданной ОЗМ-системы реализована с 
использованием технологий .МЕТ и Лауа. 

При тестировании созданной О$М-системы было разработано распределенное 
приложение решения СЛАУ. 


4 Тестирование системы го5М 


Разработанное распределенное приложение решения СЛАУ демонстрирует эф- 
фективность использования ОЗМ-памяти. В работе это приложение используется также 
для тестирования герйсаноп ОЗМ (тО$М) системы. 

Основным параметром теста является № — размерность матрицы системы линейных 
уравнений. Результатом теста является общее время Те „ решения задачи размер- 
ности М в зависимости от числа процессоров т и коэффициент ускорения вычис- 
лений р = Те т/ Телес_1, ГДФ Тохес 1 — время решения задачи на одном процессоре. 

Тестирование проводилось в локальной сети Раз! Ейетпей (100 Мбит/с), в каче- 
стве узлов которой были использованы компьютеры со следующими характеристиками: 
процессор Гие[ Репнит 4 с тактовой частотой 2,66 ГГц, 1 ГБ оперативной памяти, 
жесткий диск объемом /60 ГБ. Результаты тестирования приведены на рис. 2 и рис. 3. 
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Рисунок 2 — Зависимость времени решения от числа уравнений 
для различного количества процессов 


Как видно из графиков, при решении систем с небольшим количеством урав- 
нений система менее эффективна. Это в первую очередь связано с латентностью Ра5 
Ететпе! и с использованием синхронизационных барьеров при решении. 

При увеличении размерности матрицы сетевые задержки остаются такими же, 
а время расчета матрицы на каждом цикле алгоритма увеличивается, благодаря чему 
мы получаем большую загрузку задействованных в решении процессоров, чем дости- 
гается хорошее распараллеливание задачи. 
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Рисунок 3 — Зависимость коэффициента ускорения решения от числа уравнений 
для различного количества процессов вт)ОЗМ и МРГ 


Сравнительный анализ с приложениями, разработанными с использованием ком- 
муникационной библиотеки МРГ, показывает, что тОЗМ и МР] практически сравнимы 
по производительности. 


Заключение 


В результате проведенных исследований предложена методика разработки рас- 
пределенных приложений для кластерных систем, построенных на базе стандартных 
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сетевых технологий с улучшенными параметрами обработки данных. Она включает 
создание О5М-памяти на основе модели регионов и механизмы репликации объектов, 
обеспечивающих когерентность общей распределенной памяти. 

Отличительная особенность проекта — интеграция различных типов памяти в 
рамках масштабируемого виртуального адресного пространства кластерной архитек- 
туры, что позволит создавать эффективные инструментальные средства для проектиро- 
вания сложных распределенных приложений. Предлагаемая программная реализация 
позволяет разрабатывать платформенно-независимые системы. 

Внедрение разработанной методики обеспечивает интеграцию различных типов 
памяти в рамках масштабируемого виртуального адресного пространства кластерной 
архитектуры. Это дает возможность создавать эффективные инструментальные сред- 
ства для проектирования сложных распределенных приложений, требующих больших 
объемов данных при решении задач в корпоративных ОВТ)-сетях, построенных на 
основе стандартных высокоскоростных сетевых технологий. 
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